JevSpawn: Adaptive Agentic Inference through Compositional Action Spaces
JevSpawn：组合动作空间实现自适应智能体推理
🧭 Agent 组合动作空间加速推理
Fudan University · Shanghai Jiao Tong University · Shanghai Innovation Institute
通过组合动作空间与并行生成-反馈选择，将 Jev-style 快速概率预测引入自适应 Agent 推理，降低延迟并提升任务性能
📌 工作参考价值（4 点）
- 在电商推荐 Agent 的多轮交互或工具调用中，将离散候选动作（如商品候选、Query 改写选项）编码为有限字段，使用 Jev-style 概率预测并行生成多个动作候选，替代逐 token 生成，显著降低推理延迟，适合对时延敏感的场景。
- 利用共享动作结构和前缀缓存（prefix/KV cache）：多个并行分支共享相同上下文前缀时，仅计算一次前缀，减少重复计算；在长会话推荐中可缓存用户历史与系统提示，提升吞吐。
- 借鉴反馈驱动的分支选择与保留备选：根据环境反馈（点击/转化）对并行候选剪枝，同时保留未选分支以便在后续步骤中恢复，增强推荐策略的鲁棒性，类似多臂老虎机的探索-利用平衡。
- 无需额外训练，可直接集成现有 LLM Agent 框架，降低工程落地成本。